3 Cross-validation and Hyperparameter Optimization
the next section introduces hyperparameter tuning and model selection. (2.4 終わり)
3では「ハイパーパラメタチューニングとモデル選択」を扱う
3.11 Summary
モデル評価(model evaluation)
Using holdout method is absolutely fine for model evaluation when working with relatively large sample sizes.
「比較的大きいサンプルサイズに取り組むとき、モデルの評価にはホールドアウト法を使うのがよい」
ハイパーパラメタ最適化
For hyperparameter optimization, we may prefer 10-fold cross-validation, and Leave-One-Out cross-validation is a good option when working with small sample sizes
「ハイパーパラメタ最適化にはk=10交差検証が好ましい」
「LOOCVは小さいサンプルサイズに取り組む時、良い選択肢となる」
モデル選択(model selection)
the "three-way" holdout method may be a good choice if the dataset is large, if computational efficiency is a concern;
「"3分割"ホールドアウト法は、データセットが大きく、計算効率が懸念となるとき、よい選択である」
a good alternative is using k-fold cross-validation with an independent test set.
「よい別の選択肢はテストセットを別にしてk交差検証を使うこと」
3.1 Overview
ここまでで、あるモデルの汎化性能を見積もるための技術として、ホールドアウトとブートストラップを見た
bias-variance trade-off
汎化性能見積りの不確実性の計算方法
This third section focusses on different methods of cross-validation for model evaluation and model selection.
「モデルの評価と選択のための交差検証のさまざまな方法に関心を向ける」
It covers cross-validation techniques to rank models from several hyperparameter configurations and estimate how well these generalize to independent datasets.
「いくつかのハイパーパラメタ設定から複数のモデルをランク付けし、独立したデータセットに対してそれらがどれだけよく汎化されているかを見積もるための交差検証の技術をカバーしている」
モデル評価の観点で紹介
k-fold cross-validation is more commonly used for model selection or algorithm selection
モデル選択については3の中の後(3.7)で、アルゴリズム選択については4で
LOOCV estimates are generally associated with a large variance and a small bias,
「LOOCVによる見積もりは一般に大きいvarianceと小さいbiasに結び付けられる」
3.6までがk交差検証を使ったモデル評価、3.7でk交差検証を使ったモデル選択